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摘要 : 垂体 微 腺 瘤 通 常 难以 通过 平 扫 核 磁 共 振 成 像 的 方式 来 检测 ， 且 误诊 的 风险 较 高 、 病 
例 较 少 ， 这 使 得 垂体 微 腺 瘤 的 检测 分 割 与 分 类 诊断 工作 难度 较 大 。 基 于 上 述 问题 ， 本 文 提 
出 了 一 种 基于 动态 增强 序列 的 计算 机 辅助 诊断 系统 DCEPM-CAD 。 在 提取 动态 增强 MR FF 
列 时 序 信息 的 同时 对 其 中 主干 网 络 HRNetv2 添加 注意 力 模块 进行 改进 。 为 了 避免 因 垂体 微 
腺 瘤 在 图 像 中 占据 像素 过 少 而 无 法 提取 其 相关 特征 的 问题 ， 本 文 还 引入 TecoGAN 图 像 超 
分 辨 率 方 法 来 对 垂体 区 域 图 像 进行 超 分 辩 率 重建 。 在 275 名 符合 研究 条 件 者 的 共 862 张 
MR 图 像 数 据 集中 ，DCEPM-CAD 针对 垂体 微 腺 瘤 的 诊断 准确 率 达 到 77%， 同 时 在 垂体 、 
垂体 微 腺 瘤 的 分 割 方面 取得 了 显著 的 效果 ，Dice 相似 性 系数 分 别 达 到 92.16 和 72.54。 
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Abstract: Pituitary microadenomas are usually difficult to detect by non-contrast MRI, and the risk 
of misdiagnosis is higher and the number of cases is small, which makes the detection, segmentation 
and classification of pituitary microadenomas difficult. Based on the above problems, a computer- 
aided diagnostic system DCEPM-CAD based on dynamic enhancement sequence is proposed. 
While extracting the dynamic enhancement MR sequence timing information, the attention module 
of HRNetv2 was added to the backbone network to improve. In order to avoid the problem that 
pituitary microadenomas occupy too few pixels in the image to extract their relevant features, this 
paper also introduces the TecoGAN image super-resolution method to super-resolution the pituitary 
region image. In a total of 862 MR image datasets of 275 eligible participants, the diagnostic 
accuracy of DCEPM-CAD for pituitary microadenomas reached 77%. At the same time, significant 
results were achieved in the segmentation of pituitary and pituitary microadenomas, and the 
similarity coefficients of Dice reached 92.16 and 72.54, respectively. 
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1. 引言 


垂 颅 内 中 枢 神经 系统 最 常见 的 良性 肿瘤 就 是 垂体 腺 瘤 , 约 占 所 有 颅 内 肿瘤 的 
9% 一 16%…, 在 颅 内 肿瘤 疾病 中 发 病 率 居 第 3 位 ”, 患 病 率 约 为 0.08% 一 0.09% ”。 
且 近 年 来 随 着 医疗 器 械 水 平 与 临床 医学 的 发 展 ， 垂 体 腺 瘤 的 发 病 率 呈 上 升 趋势 ， 
同时 无 症状 的 病例 明显 增多 。 

垂体 微 腺 瘤 是 垂体 腺 瘤 中 一 种 较 特 殊 的 情况 , 因 其 尺寸 过 小 不 易 发 现 , 使 得 
医生 在 临床 上 难以 做 到 及 时 、 准 确 判 断 。 除 此 之 外 , 不 同 种 类 的 垂体 微 腺 瘤 具 有 
不 同 的 内 分 泌 特点 和 临床 症状 "。 例 如 : 生长 激素 型 垂体 微 腺 瘤 会 导致 头痛 、 视 
JEER, KIKE; 促 皮 上 腺 皮质 激 系 型 垂体 微 腺 瘤 多 数 表 现 为 体重 增加 、 肌 网 
KAS". 

核磁 共振 成 像 是 临床 上 诊断 垂体 微 腺 瘤 最 常用 的 影像 学 技术 手段 ”， 核 磁 共 
振 图 像 具 有 多 种 技术 特点 和 优势 ， 如 多 参数 、 多 序列 、 多 方位 成 像 、 软 组 织 分 辩 
率 高 、 可 利用 流动 效应 进行 血管 成 像 等 "”。 而 动态 增强 扫描 * 是 垂体 微 腺 瘤 诊断 
过 程 中 一 个 非常 重要 的 技术 手段 ， 即 便 在 影像 科 医 师 的 诊断 过 程 中 ， 动 态 增 强 
MR 图 像 序列 也 是 判断 的 “ 金 标准 ”。 

随 着 深度 学 习 在 生物 医学 领域 的 发 展 , 医学 图 像 处 理 成 为 计算 机 视觉 中 十 分 
重要 的 研究 方向 。 众 多 科研 工作 者 与 临床 医生 亦 希 望 通过 深度 学 习 或 机 器 学 习 的 
相关 算法 临床 医学 领域 实现 计算 机 辅助 诊断 CCAD) “”， 从 而 有 效 提高 医学 影像 
学 分 析 和 临床 诊断 工作 的 准确 性 与 时 效 性 。 
基于 上 述 条 件 , 本 研究 旨 在 将 深度 学 习 的 相关 算法 模型 与 垂体 微 腺 瘤 的 诊断 
相 结合 ， 重 点 基于 垂体 微 腺 瘤 在 临床 诊断 过 程 中 的 金 标 准 : 动态 增强 序列 ， 通 过 
提取 动态 增强 序列 中 的 时 序 信息 与 空间 信息 特征 , 结合 深度 学 习 的 相关 模型 并 最 
终 实现 垂体 微 腺 瘤 的 精准 分 割 与 定性 ， 辅 助 临床 诊断 ， 同 时 探索 深度 学 习 在 医学 
领域 中 的 可 解释 性 。 

2. 相关 工作 


近年 来 ， 国 际 医学 图 像 计 算 和 计算 机 辅助 介入 协会 (MICCAI) 在 医学 图 像 
处 理 领 域 ， 举 办 了 每 年 一 度 的 多 模 态 脑 肿瘤 分 割 竞 赛 (Bra TS)... iE SERE HH 
基于 TCIA (The Cancer Imaging Archive) 的 脑 神经 胶 质 瘤 MR 图 像 数据 库 。 除 
此 之 外 ， 越 来 越 多 的 医学 数据 集 在 网 络 上 开源 ， 以 满足 高 校 、 医 疗 工作 者 及 科研 
AREA, 其 中 包括 了 X 射线 、 计 算 机 断层 扫描 (CT) 图 像 、 磁 共振 图 像 (MRI) 
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等 在 内 的 许多 医学 图 像 数据 集 …。 不 断 增加 的 医学 数据 集 也 推动 了 深度 学 习 在 
医学 图 像 处 理 领 域 的 磅 萌 发 展 ， 同 时 在 病灶 的 检测 、 疾 病 的 诊断 、 预 后 的 预测 等 
方面 取得 了 一 系列 成 果 。 

医学 图 像 处 理 领域 的 快速 发 展 促进 了 深度 学 习 在 垂体 腺 瘤 MR 图 像 上 的 应 
H, 在 MR 图 像 预 处 理 方面 , Lee 等 ”使 用 AIRTM 深度 学 习 软件 对 3mm 层 厚 的 
MR 图 像 进行 注 层 重建 ， 并 将 获得 的 层 厚 为 1mm 的 重建 图 像 用 来 验证 影像 科 医 
师 诊断 垂体 腺 瘤 的 准确 率 ， 同 时 发 现 1mm 层 厚 的 重建 图 像 可 以 有 效 降低 诊断 过 
程 中 的 假 阳 性 率 。Uetani E À Ese UK T2 加 权 图 像 的 5 个 去 噪 水 平 上 ， 分 别 采用 
不 同 的 小 波 去 噪 方法 重建 图 像 ， 发 现 通 过 压缩 感知 的 混合 DLR 方法 可 以 为 垂体 
T2WI 提 供 更 高 的 图 像 质量 。 

在 分 割 垂体 腺 瘤 的 任务 方面 ,Shu 等 “利用 nnU-Net 深度 学 习 模型 实现 了 垂 
体 腺 瘤 的 三 维 语义 分 割 ,其 中 训练 出 的 两 个 网 络 均 在 垂体 大 腺 瘤 ( 直 径 之 10mm) 
的 分 割 方面 具有 恨 好 的 性 能 ， 但 是 在 垂体 微 腺 瘤 〈 直 径 二 10mm) 的 分 割 方面 效 
果 并 不 理想 ; Li 等 "基于 多 模 态 的 3D MRI 图像, 通过 3D 卷 积 神经 网 络 (CNN) 
实现 了 对 功能 性 垂体 腺 瘤 的 分 割 与 分 类 。 

而 在 分 割 垂体 微 腺 瘤 的 任务 方面 ，Li 等 ”提出 了 基于 深度 学 习 的 计算 机 畏 
助 诊断 垂体 微 腺 瘤 系 统 (PM-CAD) ， 主 要 分 为 检测 和 分 类 两 大 步骤 ， 即 首先 对 
垂体 的 bounding box 进行 检测 ， 再 将 预测 的 垂体 区 域 bounding box 输入 分 类 网 
络 。 在 PM-CAD 的 内 部 数据 集中 ， 该 系统 的 诊断 准确 率 达 到 94%， 其 诊断 能 
十 分 接近 工作 超过 10 年 的 影像 科 医 生 。 

在 多 模 态 方面 , 多 模 态 学 习 框架 的 一 个 理想 特性 是 能 够 从 不 同 的 模 态 中 学 习 ， 
而 不 需要 不 同 的 模型 架构 。 理想 情况 下 , 一 个 统一 的 多 模 态 模型 将 包含 不 同类 
型 的 数据 (图 像 、 生 理 传感器 数据 以 及 结构 化 和 非 结 构 化 文本 数据 等 等 )， 以 灵 
活 和 稀 玻 的 方式 编码 这 些 不 同类 型 数据 中 包含 的 概念 〈ie. 一 个 独特 的 任务 只 激 
活 网 络 的 一 小 部 分 ， 通 过 模型 学 习 网 络 的 哪些 部 分 应 该 处 理 每 个 独特 的 任务 )。 
Fan 等 “通过 提取 MR 图 像 特 征 构 建 影像 学 组 标签 , 同 临 床 文本 指标 数据 特征 相 
融合 ， 实 现 了 术 前 预测 侵袭 性 功能 型 垂体 腺 瘤 患者 的 预后 情况 ,并 在 内 部 数据 集 
上 得 到 了 良好 的 结果 。 
3. 方法 


在 临床 诊断 过 程 中 , 对 垂体 微 腺 瘤 核磁 共振 图 像 的 分 割 精度 和 诊断 效率 提出 
了 更 高 的 要 求 , 因此 迫切 需要 一 种 自动 化 的 方法 来 提高 分 割 精度 ， 作 为 辅助 诊断 
的 技术 工具 。 为 了 寻求 高 效 准确 的 垂体 微 腺 瘤 病 灶 分 割 方法 , 我 们 提出 了 一 种 基 
于 动态 增强 序列 的 计算 机 辅助 诊断 系统 DCEPM-CAD, 如 图 5 所 示 。 并 在 本 节 分 
别 对 其 中 的 数据 预 处 理 、HRNetv2 分 割 模 型 、 注 意 力 机 制 改进 进行 了 详细 阐述 。 
3.1 基于 动态 增强 序列 的 数据 预 处 理 


由 于 垂体 及 垂体 微 腺 瘤 所 处 位 置 复杂 ,， 且 体积 过 小 不 便于 分 割 , 因此 本 研究 
采取 多 种 图 像 预 处 理 方法 , 将 同 层 不 同时 间 点 的 MR 图 像 进行 图 像 融 合 ， 目 的 是 
增强 图 像 所 关注 区 域 与 一 般 区 域 的 对 比 度 , 最 大 限度 的 保留 在 动态 增强 序列 中 的 
强度 变化 信息 。 如 图 1, 将 第 三 层 L。 ( 浅 橙色 ) 的 不 同时 间 序 列 下 的 图 像 抽 取出 来 ， 
经 过 基于 均值 的 图 像 预 处 理 方法 所 oan(Li), 得 到 融合 后 的 图 像 , 其 他 各 层 同 理 。 
最 终 得 到 图 1 右 下 角 的 数据 预 处 理 序列 。 

选择 同 层 不 同时 间 的 目的 是 由 于 同一 层 的 MR 图 像 在 颅 内 组 织 结构 相同 ， 
图 像 融 合 后 不 会 造成 偏差 。 数 据 维 度 方面 ， 由 于 MR 图 像 格式 为 DICOM ”， 
是 灰 度 图 像 ， 其 数据 维度 为 x € 下 cxwxn(c = 1)， 其 中 c、w、 有 分 别 为 图 像 的 通 
道 数 、 宽 度 和 高 度 。 而 经 过 图 像 预 处 理 后 的 图 像 疡 在 数据 维度 方面 与 原始 图 像 
保持 一 致 。 
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图 1 基于 动态 增强 序列 的 数据 预 处 理 


关于 数据 预 处 理 的 图 像 融合 方法 ， 主 要 包括 了 : 最 大 值 滤波 、 最 小 值 滤波 、 
均值 滤波 与 第 一 期 图 像 做 差 、 最 大 值 滤波 与 最 小 值 滤波 做 差 、 最 大 值 滤 波 后 双边 
滤波 。 预 处 理 结果 如 图 2 所 示 ， 相 关 消 融 实 验 结果 见 表 5。 


图 2: 图 


像 预 处 理 环 节 的 结果 : (a) 冠状 位 切片 在 某 个 时 间 点 下 的 原始 图 像 ，(b) 经 过 最 大 值 


滤波 处 理 之 后 的 图 像 ; (c) 经 过 最 小 值 滤波 处 理 之 后 的 图 像 , (d) 经 过 均值 滤波 处 理 , B 
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第 一 期 之 后 的 图 像 , (e) 经 过 最 大 值 滤波 减 去 最 小 值 滤波 处 理 之 后 的 图 像 ; (D 经 过 双边 滤波 
处 理 之 后 的 图 像 。 经 过 预 处 理 后 的 图 像 在 所 关注 的 垂体 


息 ， 同 时 模糊 了 蝶 鞍 内 其 他 结构 的 信息 ， 提 高 了 感 兴 


3.2 注意 力 机 制 优化 的 垂体 、 垂 体 微 腺 瘤 分 割 模型 


医生 在 诊断 垂体 微 腺 瘤 的 过 程 中 , 会 首先 找到 垂体 区 域 , 观察 垂体 柄 是 否 有 


x 域 很 好 地 保留 了 信号 强度 变化 的 信 
政 区 域 与 一 般 区 域 的 对 比 度 。 


偏 移 、 鞍 底 是 否 下 陷 、 垂 体内 是 否 有 未 经 强化 的 信号 结 节 等 ,而 忽略 与 异体 区 域 
无 关 的 其 他 区 域 。 换 句 话说 , 注意 力 会 引导 医生 在 诊断 的 过 程 中 不 断 判别 并 最 终 
寻找 到 具有 区 分 性 的 关键 区 域 , 即 选 择 重 要 的 信息 而 忽略 不 重要 的 信息 。 而 注意 
力 机 制 ” 也 在 深度 学 习 中 得 到 了 广泛 运用 , 根据 注意 力 域 的 不 同 , 注意 力 机 制 主 


要 分 为 三 类 : 空间 域 、 通 道 域 、 混 合 域 。 


因此 ， 本 文 的 改进 方法 将 在 HRNetv2 的 主干 网 络 中 添加 两 种 不 同 的 通道 注 
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HRNetv2 模型 主干 网 络 的 4 个 stage 中 的 多 尺度 并 行 卷 积 模块 中 的 每 个 分 文 


都 包含 由 4 个 残 差 块 组 成 的 残 差 组 ， 基 于 此 结构 ,本 文选 择 在 每 个 残 差 组 的 残 差 
块 中 添加 压缩 -激励 通道 注意 力 模块 ”， 作 为 对 于 HRNetv2 的 第 一 种 改进 方式 ， 
命名 为 HRNetv2 SE， 改进 后 的 单个 残 差 块 的 结构 如 图 3 所 示 。 


除 此 之 外 ， 本 文 还 选择 在 每 个 残 差 组 的 残 差 块 中 添加 双 池 化 注意 力 模块 “， 


作为 对 于 HRNetv2 的 第 三 种 改进 方式 ， 命 名 为 HRNetv2 CAM。 如 图 4 所 示 。 
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图 3 HRNetv2. SE 模型 主干 网 络 局 部 ， 以 stagel. stage2 为 例 
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3.3 DCEPM-CAD 


综 上 所 述 ， 本 文 结合 动态 增强 扫描 序列 时 序 信息 、 高 分 辩 率 表征 学 习 模 型 


HRNetv2、 注 意 力 机 制 、 超 分 辨 率 模块 ， 提 出 了 一 种 基于 动态 增强 序列 的 计算 机 
辅助 诊断 系统 DCEPM-CAD (computer-aided Dynamic Enhanced Pituitary 
Microadenoma diagnosis)， 由 在 辅助 医生 更 高 效 、 精 确 地 诊断 垂体 微 脲 瘤 。 
DCEPM-CAD 的 流程 图 如 图 5 所 示 。 
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SPEA UAE. EE 
图 5 DCEPM-CAD 流程 图 
首先 ， 5 左下 角 的 模块 将 对 动态 增强 扫描 序列 进行 预 处 理 ， 将 同一 层 的 
MR 图 像 抽取 出 来 进行 最 大 值 滤 波 减 最 小 值 滤波 的 图 像 融合 ， 之 后 再 将 预 处 理 
MR 图 像 序列 已 输入 进 添 加 压缩 -激励 注意 力 模块 的 HRNetv2 模型 中 ， 经 过 4 个 
stage 后 分 别 输出 尺度 为 4 倍 、8 倍 、16 倍 、32 倍 的 下 采样 特征 图 ， 并 将 特征 图 
直接 用 于 Segmentation Task 模块 〈 黑 色 细 箭头 ) 进行 垂体 区 域 的 语义 分 割 。 
之 后 ， 将 分 割 裁剪 后 的 垂体 区 域 图 像 经 过 预 训 练 好 的 TecoGAN 模型 来 生成 
超 分 辩 率 的 分 割 裁剪 垂体 区 域 图 像 ， 维 度 从 (W/3)x(H/3)x3 变 为 S12x512x3， 再 
次 输入 HRNetv2_SE 模块 中 ， 经 过 4 个 stage 后 分 别 输出 尺度 为 4 倍 、8 倍 、16 
音 、32 倍 的 下 采样 特征 图 ， 并 将 特征 图 直接 用 于 Segmentation Task 模块 (黑色 
细 箭 头 ) 与 Classification Task( 红 色 细 箭头 ) 进 行 垂 体 微 腺 瘤 的 语义 分 割 与 分 类 ， 
最 终 通 过 输入 的 一 组 动态 增强 MR 序列 ，DCEPM-CAD 可 以 判断 一 个 人 是 否 患 
有 垂体 微 腺 瘤 ， 以 及 垂体 微 腺 瘤 的 位 置信 息 ， 实 现 了 端 到 端的 计算 机 辅助 诊断 垂 
体 微 腺 瘤 。 
4. 材料 和 实验 


INPUT L; 
I Dynamic Enhanced MRI sequences 


本 研究 为 基于 动态 增强 MR 图 像 的 垂体 微 腺 瘤 智能 检测 ， 根 据 课 题 特 点 与 
难点 ， 本 文 提 出 了 关于 动态 增强 的 垂体 微 腺 瘤 的 诊断 方法 : DCEPM-CAD, fe 
辅助 医生 临床 诊断 , 因此 针对 本 文 方法 的 实验 方案 主要 包括 : (1) 垂 体 的 分 割 实验 ; 
(CO) 垂 体 微 腺 瘤 的 分 割 实验 ;3) 重 体 微 腺 瘤 的 诊断 实验 ; (4) 多 种 预 处 理 方 法 的 消 


融 实 验 。 


根据 上 述 不 同 实验 的 需求 , 对 数据 集 进行 整 班 


ERI UL Ach H 


E. ( FH pytorch 框架 


模型 训练 时 加 载 并 使 用 backbone 对 应 的 预 训练 模型 参数 , 在 搭载 了 NVIDIA RTX 


3060 的 Windows 操作 系统 上 进行 训练 。 


模型 训练 过 程 分 为 冻结 阶段 和 解冻 阶段 。 由 于 我 们 使 用 预 训 练 权重 来 进行 模 
型 的 训练 ， 因 此 冻结 backbone 权重 的 训练 转 而 将 更 多 的 计算 资源 用 来 训练 神经 
网 络 后 面 的 参数 ， 可 以 加 快 模型 的 训练 速度 。 除 此 之 外 ,， 因 为 垂体 微 腺 瘤 数据 集 
较 小 ， 冻 结 较 浅 的 网 络 层 可 以 防止 这 些 层 对 数据 的 过 拟 合 。 

实验 过 程 中 设置 冻结 阶段 epoch 为 50，batch size 为 16， 解 冻 阶段 batch size 


为 8。 总 epoch 为 200， 模 型 使 用 SGD 优化 器 ， 动 量 


设置 为 0.9， 学 习 率 设置 为 


0.004， 学 习 率 衰减 采用 余弦 退火 算法 人”， 权 重 衰减 设置 为 0.0001 防止 过 拟 合 。 


4.1 数据 来 源 


本 研究 所 使 用 的 脑 部 MR 图 像 均 来 源 于 与 北京 市 中 日 友好 医院 的 合作 项 目 ， 
所 有 临床 数据 均 源 于 北京 市 中 日 友好 医院 放射 诊断 科 2016 年 1 月 至 2022 年 4 月 


收集 的 垂体 动态 增强 MRI 检查 数据 。 


本 数据 集 主要 包括 两 类 图 片 : 垂体 微 腺 瘤 患者 MR 时 


像 。 每 个 动态 序列 的 MR Wü AEERAENIERRIUE T E SUA 
瘤 的 划分 标签 ， 以 供 深度 学 习 模 型 训练 、 测 试 。 除 此 之 外 ， 数 据 集 中 还 包含 了 所 
有 患者 及 正常 人 的 文本 类 诊断 信息 , 有 助 于 后 期 利用 多 模 态 模型 对 垂体 微 腺 瘤 进 


行 分 类 。 
上 述 数 据 集 的 检查 仪器 分 别 为 GE、Philips、 
数 信息 详 见 表 1。 


V. EFX MR X 


SIEMENS MR 扫描 仪 。 具 体 参 


表 1 垂体 微 腺 瘤 数 据 集 扫描 设备 参数 信息 


GE MR750 Philips Ingenia SIEMENS Area 
场 强 (Tesla) 3.0 3.0 1.5 
TR/TE (ms/ms) 400/10.2 505.5/12 370/9.4 
采集 矩阵 256X 192 224X 154 192X 154 
视 场 (mmX mm) 512X512 320 X 320 384 X 384 
翻转 角 (9) 111 90 150 
层 厚 (mm) 3.0 3.0 3.0 
动态 期 相 数 6-12 6-8 6-8 
每 期 相 切片 数 ( 层 数 ) 5-9 5-8 5-8 


4.2 数据 纳入 及 排除 标准 


本 研究 经 过 影像 科 医 师 的 一 致 诊断 ， 


纳入 标准 包括 : (1) Ape t 


Ns 


为 垂体 微 腺 瘤 ,最 大 直径 <10mm,， 且 符 合 动态 增强 序列 表现 ; (2) 对 于 初步 诊断 
为 功能 性 垂体 微 腺 瘤 患者 ， 提 供 其 对 应 的 内 分 泌 激 素 指 标 文 本 数据 ; (3) 无 鞍 区 


手术 史 患 者 ; (4) 完整 的 临床 和 病理 特征 。 排 除 标准 包括 : (1) MRI 成 像 失 误 ，, 图 


像 分 辨 率 低 , 有 显著 运动 或 磁 敏 伪 影 ; (2) 垂体 腺 瘤 术 后 复发 或 有 鞍 区 手术 史 者 。 


4.3 DEC-MRI 数据 集 的 构建 


经 过 数据 的 纳入 和 排除 标准 ， 本 数据 集 共 有 符合 研究 条 件 者 275 例 ， 其 中 ， 


160 例 患 有 垂体 微 腺 瘤 ，115 例 表 现 正 
4.3.1 垂体 数据 集 的 构建 


Hd 
IN o 


KER 275 例 符合 研究 条 件 者 按照 训练 集 、 验 证 集 、 测 试 集 6:2:2 的 比例 进 


行 划分 ， 共 有 862 张 MR 影 像 。 如 表 2 所 示 ， 同 时 列 出 了 正常 垂体 与 垂体 微 腺 瘤 


的 样本 数量 。 
4.3.2 垂体 微 腺 瘤 数 据 集 的 构建 


将 上 述 160 例 垂体 微 腺 瘤 患者 按照 训练 集 、 测 试 集 8:2 的 比例 进行 划分 ， 共 


有 306 sk MR 影像 。 如 表 3 所 示 。 


表 2 垂体 数据 集结 构 


数据 集 类 别 图 像 数量 / 张 总 数 / 张 
测试 集 x 173 
表 3 FEA UE Od EST 
数据 集 图 像 数 量 / 张 
训练 集 258 
测试 集 48 
5. 结果 
5.1 垂体 分 割 


本 文 方法 在 垂体 微 腺 瘤 分 割 诊断 的 目标 下 ,首先 对 垂体 区 域 进行 分 割 ， 同 时 


用 于 选择 HRNetv2 模型 在 本 实验 数据 集 下 的 最 佳 backbone。 其 中 数据 集 共 拥有 
862 张 图 像 ， 训 练 集 585 张 图 
SACR. 验证 集 的 147 张 图 


像 用 于 训 


Zh 


SIN 


HRNetv2 模型 在 不 同 backbone 下 的 分 


像 用 于 最 佳 backbone 的 选择 。 


在 验证 集 上 挑选 出 最 佳 的 backbone(HRNet w32) 后 ， 使 用 此 backbone 对 改 
并 用 测试 集 评估 改进 


进 的 HRNetv2 模型 : HRNet SE. HRNet CAM 进行 训 


Zh 


PASE) 


的 HRNetv2 与 相关 基准 实验 在 未 见 数据 上 的 泛 化 能 力 。 
本 实验 中 我 们 选择 了 一 种 实例 分 割 模型 MaskR-CNN ,五 种 语义 分 割 模型 : 
U?-Net, DeepLabv3-- ^ , PSPNet ^ , U-Net, HRNetv2 作为 用 于 对 比 的 基准 实验 。 


实验 结果 如 表 4 所 示 。 
de 4 垂体 数据 集 上 的 分 割 结果 
backbone DSC mloU PA mPA 
Performance on the Validation set 
Mask R-CNN ResNet50 66.55 49.87 99.84 49.90 
U?-Net RSU 84.34 72.92 99.89 79.63 
DeepLabv3+ mobileNet 66.60 49.93 99.85 50.00 
PSPNet mobileNet 66.64 49.97 99.85 50.04 
PSPNet ResNet50 86.06 75.53 99.92 79.45 
U-Net Vggl6 91.90 85.02 99.95 91.22 
U-Net ResNet50 92.33 85.75 99.95 91.36 
HRNetv2 HRNetv2 w18 91.16 83.76 99.94 89.00 
HRNetv2 HRNetv2 w32 93.00 86.92 99,96 92.55 
HRNetv2 HRNetv2_w48 80.85 67.86 99.66 70.42 
Performance on the Test set 
Mask R-CNN ResNet50 65.75 48.98 99.85 49.73 
U?-Net RSU 81.34 68.55 99.89 67.42 
DeepLabv3+ mobileNet 66.60 49.93 99.86 50.00 
PSPNet mobileNet 66.70 50.04 99.86 50.21 
PSPNet ResNet50 82.96 70.88 99.91 74.12 
U-Net Vggl6 91.63 84.56 99.95 89.19 
U-Net ResNet50 91.56 84.44 99.95 90.48 
HRNetv2 HRNetv2 w18 89.65 81.25 99.94 86.42 
HRNetv2 HRNetv2 w32 91.48 84.30 99.95 88.57 
HRNetv2 HRNetv2 w48 87.24 71.36 99.93 82.66 
HRNetv2 SE | HRNetv2 w32 92.16 85.46 99,96 90.23 
HRNetv2 CAM | HRNetv2 w32 89.28 80.64 99.94 86.68 
HX 4 可 知 ， 在 验证 集 的 评估 中 backbone 为 HRNetv2. w32 的 HRNetv2 fi 


型 分 割 性 能 最 佳 ，Dice 相似 性 系数 为 93.00， 平 均 IoU 为 86.92， 但 当 backbone 
为 HRNetv2_w48 时 , 分 割 性 能 反而 有 大 幅 下 降 。 HRNetv2_w32 和 HRNetv2_w48 


最 大 的 差别 就 是 在 主干 网 络 中 后 三 个 stage 的 通道 数量 不 同 ， 


模型 对 垂体 位 置信 所 


ELAN HAA 


而 过 深 的 通道 导致 


最 终 影响 分 割 效率 。 因 此 我 们 在 接 下 来 对 HRNetv2 


的 改进 过 程 中 使 用 的 backbone 均 为 HRNetv2 w32. 


在 测试 集 的 评估 中 可 以 发 现 , 添加 了 注意 力 机 种 
方法 都 有 所 提升 ， 相 比 于 分 割 性 


an E 


Ke Hx 


1 的 两 个 改进 方法 相 比 于 基准 


好 的 基准 实验 U-Net， 两 种 添加 了 注意 力 机 
制 的 改进 方法 均 提 升 了 1 一 2 个 百分点 。 分 析 认 为 ， 这 是 由 于 注意 力 机 第 


| 将 重要 


通道 的 特征 强化 , 非 重 要 通道 的 特征 弱化 , 从 而 达到 分 割 性 能 的 提升 。 除 此 之 外 ， 


HRNetv2_CAM 的 分 割 

模型 的 参数 量 

4E. 

5.2 预 处 理 消融 实验 
本 六 关于 图 

动态 增强 


2 中 (a)、 (d)、 (e). (f) 


E 大 于 HRNetv2 SE, 


而 过 大 参数 量 


像 的 预 处 理 主要 包含 两 个 方面 , 一 
序列 中 的 时 序 信 息 融 合 起 来 , 保留 时 序 信息 
增强 的 部 分 也 是 我 们 所 感 兴趣 的 垂体 区 域 ， 本 节 将 
进行 消融 实验 ， 详 细 结 果 见 表 5. 

二 是 对 垂体 微 腺 瘤 分 割 环节 的 超 分 辨 率 的 消融 实验 ， 如 图 


生 能 要 低 于 HRNetv2 SE， 猜测 这 是 因为 HRNetv2 CAM 


的 模型 并 不 适用 于 较 小 的 数据 


是 基于 动态 
中 信号 增 3 


昌 的 部 分 ， 而 
基于 基准 方法 HRNetv2 对 图 


兽 强 序列 ， 间 在 将 


信和 号 


3 Super resolution 


块 ,在 本 文 提出 的 DCEPM-CAD 方法 流程 中 , 先 使 用 HRNetv2 对 垂体 进行 分 割 ， 


再 将 分 割 下 来 的 垂体 区 域 进 行 超 分 辨 率 用 于 后 续 垂 体 微 腺 瘤 的 语义 分 割 。 这 一 步 


对 于 垂体 微 肿瘤 的 分 割 与 
进行 验证 ， 以 


zu 


像 分 割 裁剪 数据 ，(3) 原始 图 
最 有 效 的 图 


i=} 


由 表 5 可 知 ， 
2(e)73 TRA PH a A 


c 


ke 


像 预 处 理 


的 ， 猜 测 这 样 
效果 较为 显著 。 


但 在 PA 这 一 项 , 却 小 于 原始 图 


的 预 处 理 方 式 最 大 限度 的 保 


HARKE 
微 腺 瘤 在 多 
像素 分 类 不 正确 
中 分 子 非常 


AIRE A 


(i.e. 


像 中 的 覆盖 面积 很 小 , 这 就 导致 
D, PARKE 


像 数据 ; (2) 原始 图 


性 起 着 至 关 重 要 的 作用 , 因此 有 必要 对 超 分 辩 率 环节 
有 保 超 分 辩 率 的 有 效 性 。 本 节 将 对 : (1) 原 始 图 
像 分 割 裁剪 超 分 辨 率 数据 三 个 方面 进行 消融 实验 。 
方法 是 最 大 值 滤波 减 最 小 值 滤波 ， 如 图 
像 效 果 ， 可 以 看 出 (e) 的 所 关注 区 域 与 一 般 区 域 的 对 比 度 是 最 大 
留 了 垂体 部 分 的 边缘 信息 ， 


从 而 导致 了 


由 表 6 可 知 , 在 经 过 分 割 裁剪 与 超 分 辨 率 后 , 垂体 微 腺 瘤 分 割 效 果 提升 显著 ， 
像 方法 0.13 个 百分点 。 经 分 析 得 , PA 的 定义 为 : 


介 素 的 比例 。 而 未 经 超 分 辨 率 的 前 两 种 方法 ， 
和 便 垂 体 微 腺 瘤 的 像素 完全 分 割 不 上 


的 背景 


fi 
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分 割 正确 ， 


那 就 导致 PA 计算 公 
大 而 分 母 是 固定 值 ， 因 此 PA tiie; MZ RR Ja, HE ER 


由 于 垂体 


xS 


的 mask 在 图 


像 中 所 占 比例 变 大 ， 一 旦 分 割 出现 误 差 必然 会 导致 PA 计算 公式 中 
分 子 变 小 ， 从 而 降低 PA 计算 数值 。 

综 上 所 述 ， 分 制裁 前 加 超 分 辩 率 对 于 垂体 微 腺 瘤 的 分 割 效果 起 着 促进 作用 ， 
因此 用 当 保 留 此 操作 。 


表 5 图 像 预 处 理 消融 实验 1， 在 垂体 数据 集 上 


DSC mloU PA mPA 
On the Pituitary Dataset 
HRNetv2 (HRNetv2_ 32) 
+ (a) 92.24 85.60 99.95 90.14 
(a) + (d) 90.07 (-2.17) 81.49 (-4.11) 99.94 (-0.01) 89.53 (-0.61) 
(a) * (e) 93.00 (+0.76) — 86.92 (41.32) 99.96 (+0.01) — 92.55 (42.41) 
(a) * (f) 91.70 (-0.54) 84.68 (-0.92) 99.95 (+0.00) — 90.12 (-0.02) 
dé 6 图 像 预 处 理 消 融 实验 2， 在 垂体 微 腺 瘤 数据 集 上 
DSC mIoU PA mPA 
On the PM Dataset 
HRNetv2 (HRNetv2 18) 
十 MRI 65.55 48.76 99.95 50.01 
MRI + Crop 66.65 (+1.10) 49.98 (+1.22) 99.91 (-0.04) 50.00 (-0.01) 
MRI + Crop + Super 71.94 (+6.39) — 56.18 (+7.42) 99.82 (-0.13) 57.56 (+6.55) 


5.3 垂体 微 腺 瘤 分 割 


在 垂体 微 腺 瘤 分 割 方面 ,上 


日 于 在 5.1 垂体 分 割 实验 Mask R-CNN、DeepLabv3+ 
和 PSPNet 表现 一 般 , 因此 在 垂体 微 腺 瘤 的 分 割 中 并 未 对 上 述 三 种 模型 进行 实验 。 
由 表 7 可 知 ,使 用 backbone 为 VGG16 的 U-Net 模型 和 backbone 7j HRNetv2_w18 


的 HRNetv2 模型 的 效果 要 优 于 其 他 基准 方法 ， 而 改进 后 的 HRNetv2 SE 和 
HRNetv2_CAM 效果 反而 大 幅 下 降 。 分 析 可 得 HRNetv2 wl18 与 VGG16 在 模型 


参数 量 上 要 小 于 其 他 模型 , 因此 这 也 直接 的 订 


数 更 少 、 更 简单 的 模型 效果 会 更 佳 。 

针对 本 文 提 出 的 DECPM-CAD 方法 ， 将 使 用 backbone 为 HRNetv2_w18 的 
HRNetv2 模型 进行 垂体 微 腺 瘤 的 分 割 与 定性 。 
5.4 垂体 微 腺 瘤 诊断 


在 5.3 WHA 


明了 当 训 练 集 数量 很 小 时 ， 采 用 参 


得到, 当 backbone 为 HRNetv2 w18 的 HRNetv2 模型 的 效 


果 最 佳 ， 因 此 ， 在 本 文 提出 的 DECPM-CAD 方法 中 ， 针 对 垂体 微 腺 瘤 的 定性 问 


题 ， 主 要 使 用 backbone 为 HRNetv2 w18 的 HRNetv2 模型 。 如 图 


6 所 示 ， 目 前 


DECPM-CAD 对 于 未 知 动态 


Hyg MR 序列 是 否 存在 垂体 微 腺 瘤 的 判断 准确 率 达 


到 了 77%。 
表 7 垂体 微 腺 瘤 数据 集 上 的 分 割 结果 

backbone DSC mloU PA mPA 

Mask R-CNN ResNet50 - - - - 
U?-Net RSU 67.79 51.28 99.79 49.96 

DeepLabv3+ mobileNet - - - - 

PSPNet mobileNet - - - - 
PSPNet ResNet50 60.78 43.66 99.63 45.72 
U-Net Veggl6 71.81 56.02 99.82 58.14 
U-Net ResNet50 71.75 55.95 99.82 56.88 
HRNetv2 HRNetv2 w18 71.94 56.18 99.82 57.56 
HRNetv2 HRNetv2_w32 68.62 52.23 99.75 52.98 
HRNetv2 HRNetv2_w48 58.49 41.33 99.59 42.10 
HRNetv2 SE | HRNetv2_w32 67.57 51.02 99.75 50.01 
HRNetv2_CAM | HRNetv2_w32 59.84 42.69 99.63 49.79 

mPrecision = 88.60% 
PM 
_background_ 
0.0 0.2 0.4 0.6 0.8 1.0 
Precision 
图 6 DECPM-CAD 关于 垂体 微 腺 瘤 定性 的 准确 率 
6. 讨论 


除 此 之 外 ， 针 对 本 课题 还 可 以 在 如 下 方面 进行 进一步 改进 : 

(1) 探寻 有 效 的 数据 增强 方式 ， 对 垂体 微 腺 瘤 数据 集 ， 尤 其 是 经 过 超 分 辨 率 
的 垂体 微 腺 瘤 数 据 集 进行 数据 增强 ,进一步 扩 增 数据 集 来 提高 模型 的 精度 , 同时 
也 可 以 提升 模型 对 于 垂体 微 腺 瘤 诊 断 这 一 具体 下 游 问题 的 泛 化 能 

Q) 由 于 垂体 微 腺 瘤 的 特点 : 既 需 要 较为 明显 的 语义 信息 ， 又 需要 精准 的 位 
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置信 息 ， 这 就 要 模型 能 保持 高 分 辩 率 特征 图 的 同时 还 要 进行 足够 的 卷 积 、 池 化 、 
BN 等 操作 来 获得 低 分 辩 率 的 特征 图 ， 这 也 是 本 文选 择 高 分 辨 紊 表征 学 习 HRNet 
的 原因 , 但 这 对 于 现 有 模型 而 言 太 过 困难 ,很 难 对 垂体 微 腺 瘤 如 此 细小 目标 实现 
高 精度 分 割 。 

在 初次 调研 HRNet 时 , HRNetv1 主要 应 用 领域 是 人 体 特 征 点 检测 , HRNetv2 
与 HRNetv2p 是 在 HRNetv1 的 基础 上 提出 的 ， 分 别 用 于 语义 分 割 和 目标 检测 。 
而 由 于 垂体 微 腺 瘤 在 图 像 中 过 小 ,完全 可 以 将 其 看 作 是 一 个 脑 部 特征 点 。 除 此 之 
外 ,在 人 体 特 征 点 检测 的 过 程 中 ， 很 多 图 像 数据 都 是 基于 视频 的 连续 帧 ， 而 这 也 
正好 契合 垂体 微 腺 瘤 的 动态 增强 扫描 序列 , 那么 原本 的 分 割 问题 就 会 变 成 一 个 脑 
部 特征 点 检测 问题 ， 或 者 说 是 一 个 逼近 问题 : 检测 到 特征 点 、 规 定 以 特征 点 为 圆 
心 固定 像素 值 为 半径 初始 化 预测 的 mask、 将 预测 的 mask 与 ground truth 计算 两 
者 之 间 的 Hausdroff distance 并 作为 loss 函数 ， 这 样 就 能 让 初始 化 的 mask 逐步 
逼近 ground truth， 最 终 达到 分 制 的 效果 。 
7. 结论 


本 文 主要 完成 以 下 工作 : 

(1) 对 垂体 微 腺 瘤 、 动 态 增 强 扫描 序列 等 医学 领域 知识 进行 深入 的 调研 与 学 
习 , 详细 阐述 并 分 析 了 动态 增强 序列 的 特点 ,并 基于 此 提出 了 一 系列 关于 动态 增 
强 序列 有 效 的 图 像 预 处 理 方法 , 保留 了 动态 增强 序列 中 强度 变化 的 信息 , 为 后 续 
的 垂体 分 割 、 垂 体 微 腺 瘤 的 分 割 与 诊断 的 准确 性 提供 了 有 力 保 障 。 

(2) 在 垂体 分 割 部 分 中 ， 本 文 使 用 了 1 种 实例 分 割 模 型 、5 种 语义 分 割 模型 
及 其 对 应 的 7 种 不 同 backbone 共 10 种 基准 方法 作为 对 照 试 验 , 同 时 针对 HRNetv2 
模型 本 文 还 提出 了 基于 两 种 注意 力 机 制 的 改进 方法 , 并 在 测试 集 上 取得 了 较 好 的 
结果 。 

E sn 本 文 考虑 到 垂体 微 腺 瘤 在 图 像 中 占据 的 像素 
可 能 过 少 , 模糊 的 语义 信息 与 位 置信 息 会 导致 分 割 结果 不 理想 , 因此 使 用 预 训练 
好 的 TecoGAN 图 像 超 分 辨 率 模型 对 垂体 及 附近 区 域 进行 裁剪 与 超 分 辨 率 ， 并 在 
消融 实验 中 进一步 验证 了 超 分 辨 率 的 有 效 性 。 

(4) 综 上 所 述 ， 本 文 整理 提出 了 一 种 基于 动态 增强 扫描 序列 的 计算 机 辅助 诊 
断 垂 体 微 腺 瘤 系统 CDCEPM-CAD) ， 面 对 未 知 动 态 增 强 序 列 , DECPM-CAD 可 
以 从 数据 预 处 理 至 分 割 、 分 类 来 诊断 该 动态 增强 序列 是 否 含有 垂体 微 腺 瘤 ,实现 


oy 


了 端 到 端的 计算 机 辅助 临床 医学 诊断 。 
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